Altafini telah dilahirkan pada 24 Julai 1938 di Piracicaba, sebuah bandar yang terletak dalam daerah São Paulo, Brazil. Bandar tersebut dihuni komuniti besar Itali yang kebanyakannya berasal dari Trentino Alto Adige, di mana dialek tertentu masih dituturkan. Beliau berasal daripada keluarga buruh Itali. Bapanya bernama Gioacchino Altafini manakala ibunya bernama Maria Marchesoni dan berasal dari Caldonazzo (Trentino) sekali gus mengizinkannya memperoleh kerakyatan Itali.[8] Bapa José bekerja di kilang gula manakala ibunya bekerja sebagai pembantu rumah untuk keluarga kaya.[9] José mula bermain bola sepak untuk akademi kelab di bandar São Paulo, XV de Novembro Sporting Club pada usia 16 tahun. Pada masa itu, beliau diberi nama samaran "Mazola", kerana rupa paras fizikalnya menyerupai dan mirip legenda pemain tengah Itali, Valentino Mazzola.[10] Seawal usia 17 tahun, beliau mula bermain untuk kelab remaja Brazil-Itali di São Paulo iaitu Palmeiras. Pada mulanya, beliau beraksi di posisi pemain tengah menyerang dan di posisi sayap. Namun, beliau berpindah ke posisi yang lebih menumpukan serangan iaitu posisi penyerang.[11][12]